研究过程包括许多决定,例如如何应有资格以及在何处发表论文。在本文中,我们介绍了一个一般框架,以调查此类决策的影响。研究效果的主要困难是我们需要了解反事实结果,而实际上并非现实。我们框架的主要见解是灵感来自现有的反事实分析,其中研究人员将双胞胎视为反事实单位。提出的框架将一对彼此引用为双胞胎的论文。这些论文往往是平行的作品,在类似的主题和类似社区中。我们调查了采用不同决策的双论文,观察这些研究带来的研究影响的进展,并通过这些研究的影响来估算决策的影响。我们发布了我们的代码和数据,我们认为由于数据集缺乏反事实研究,因此这是非常有益的。
translated by 谷歌翻译
三维(3D)医学图像的产生可能具有巨大的应用潜力,因为它考虑了3D解剖结构。但是,有两个问题可以防止有效培训3D医疗生成模型:(1)3D医学图像的获取和注释非常昂贵,导致培训图像不足,(2)大量参数是参与3D卷积。为了解决这两个问题,我们提出了一种名为3D Split&Shuffle-Gan的新型GAN模型。为了解决3D数据稀缺问题,我们首先使用丰富的图像切片预先培训二维(2D)GAN模型,并夸大2D卷积权重以改善3D GAN的初始化。为GAN模型的生成器和鉴别器提出了新型的3D网络体系结构,以显着减少参数的数量,同时保持图像生成的质量。研究了许多体重通胀策略和参数有效的3D架构。对心脏(Stanford Aimi冠状动脉钙)和大脑(阿尔茨海默氏病神经成像计划)的实验表明,所提出的方法会导致改善的3D图像产生质量,参数较少。
translated by 谷歌翻译
自我监督学习的最新发展使我们有可能进一步减少人类干预的多步管道中的干预,其中重点围绕着特定感兴趣的对象而发展。在本文中,焦点在组织病理学图像中的细胞核中放置。特别是,我们旨在以无监督的方式提取蜂窝信息,以完成下游任务。随着核以各种尺寸表现出来,我们提出了一个新的依赖量表卷积层来绕过调整核时尺寸的问题。在三个核数据集上,我们基准了以下方法:手工制作的,预先训练的重新系统,有监督的重新系统和自我监督的特征。我们表明,所提出的卷积层提高了性能,并且与Barlows-Twins结合使用,与低样本设置中的监督范式相比,该层可以更好地编码核编码,并且胜过所有其他建议的无监督方法。此外,我们将现有的TNBC数据集扩展到合并核类别的注释,以丰富和公开释放一个小样本设置数据集以进行核分割和分类。
translated by 谷歌翻译
瓦斯坦距离测量分布之间的差异,显示出各种类型的自然语言处理(NLP)和计算机视觉(CV)应用的功效。估计Wasserstein距离的挑战之一是,它在计算上很昂贵,并且对于许多分配比较任务而言,它的扩展不是很好。在本文中,我们的目标是通过树 - 瓦斯汀距离(TWD)近似1-wasserstein距离,其中TWD是带有基于树的嵌入的1-wasserstein距离,并且可以在线性时间内相对于节点的数量进行计算在树上。更具体地说,我们提出了一种简单而有效的L1调查方法来学习树中边缘的权重。为此,我们首先证明1-wasserstein近似问题可以使用树上的最短路径距离作为距离近似问题进行表述。然后,我们证明最短的路径距离可以用线性模型表示,并且可以作为基于LASSO的回归问题配方。由于凸公式,我们可以有效地获得全球最佳解决方案。此外,我们提出了这些方法的树形变体。通过实验,我们证明了加权TWD可以准确地近似原始的1-wasserstein距离。
translated by 谷歌翻译
找到与治疗效果差异相关的特征对于揭示基本因果机制至关重要。现有方法通过测量特征属性如何影响{\ iT条件平均治疗效果}(CATE)的程度来寻求此类特征。但是,这些方法可能会忽略重要特征,因为CATE是平均治疗效果的度量,无法检测到平均值以外的其他分布参数(例如方差)的差异。为了解决现有方法的这种弱点,我们提出了一个特征选择框架,以发现{\ IT分布处理效果修饰符}。我们首先制定特征重要性度量,该指标量化特征属性如何影响潜在结果分布之间的差异。然后,我们得出其计算高效的估计器,并开发了一个功能选择算法,该算法可以将I型错误率控制为所需级别。实验结果表明,我们的框架成功地发现了重要特征,并优于现有的基于均值的方法。
translated by 谷歌翻译
近年来,分散的学习不仅是大规模机器学习的强大工具,而且还用于保留隐私。分散学习的主要挑战之一是,每个节点持有的数据分布在统计上是异质的。为了应对这一挑战,提出了称为边缘传感器学习(ECL)的原始二重算法,并在实验上证明对数据分布的异质性是可靠的。但是,仅当目标函数是凸的时,才提供ECL的收敛速率,并且在目标函数为非convex的标准机器学习设置中尚未显示。此外,尚未研究ECL对数据分布的异质性强大的直观原因。在这项工作中,我们首先研究了ECL和八卦算法之间的关系,并表明ECL的更新公式可以被视为纠正八卦算法中的局部随机梯度。然后,我们提出了包含ECL作为特殊情况的广义ECL(G-ECL),并在(强)凸和非凸面设置中提供G-ECL的收敛速率,这不取决于该设置数据分布的异质性。通过合成实验,我们证明了G-ECL和ECL的数值结果与G-ECL的收敛速率一致。
translated by 谷歌翻译
“移动”一词的距离(WMD)是测量两个文档相似性的基本技术。作为WMD的关键,它可以通过采用最佳传输配方来利用空间单词的基础几何形状。关于WMD的最初研究报告说,WMD在各种数据集中的大幅度边缘优于古典基线,例如词袋(Bow)和TF-IDF。在本文中,我们指出原始研究中的评估可能会产生误导。我们重新评估了WMD和经典基准的性能,并发现如果我们采用适当的预处理(即L1归一化),经典的基线与WMD具有竞争力。此外,我们引入了WMD和L1拟态化的弓之间的类比,发现不仅WMD的性能,而且距离值都类似于高维空间的弓形值。
translated by 谷歌翻译
选择学术论文的出版物场所是研究过程中的关键一步。但是,在许多情况下,决策仅基于研究人员的经验,这通常会导致次优结果。尽管存在用于学术论文的场地推荐系统,但他们推荐了预计将发表该论文的场所。在这项研究中,我们的目标是从不同的角度推荐出版场所。我们估计,如果在每个场所发表论文,并推荐该论文具有最大潜在影响的场地,则将收到的引用数量。但是,这项任务面临两个挑战。首先,仅在一个地点发表论文,因此,如果该论文发表在另一个地点,我们无法观察到该论文收到的引用数量。其次,论文和出版物场所的内容在统计上是不独立的。也就是说,选择出版物场所存在选择偏见。在本文中,我们将场地推荐问题作为治疗效果估计问题提出。我们使用偏见校正方法来估计有效选择出版物场地的潜在影响,并根据每个场所的论文的潜在影响推荐场地。我们使用计算机科学会议的纸质数据强调了我们方法的有效性。
translated by 谷歌翻译
Large-scale vision-language models such as CLIP have shown impressive performance on zero-shot image classification and image-to-text retrieval. However, such zero-shot performance of CLIP-based models does not realize in tasks that require a finer-grained correspondence between vision and language, such as Visual Question Answering (VQA). We investigate why this is the case, and report an interesting phenomenon of CLIP, which we call the Concept Association Bias (CAB), as a potential cause of the difficulty of applying CLIP to VQA and similar tasks. CAB is especially apparent when two concepts are present in the given image while a text prompt only contains a single concept. In such a case, we find that CLIP tends to treat input as a bag of concepts and attempts to fill in the other missing concept crossmodally, leading to an unexpected zero-shot prediction. For example, when asked for the color of a lemon in an image, CLIP predicts ``purple'' if the image contains a lemon and an eggplant. We demonstrate the Concept Association Bias of CLIP by showing that CLIP's zero-shot classification performance greatly suffers when there is a strong concept association between an object (e.g. lemon) and an attribute (e.g. its color). On the other hand, when the association between object and attribute is weak, we do not see this phenomenon. Furthermore, we show that CAB is significantly mitigated when we enable CLIP to learn deeper structure across image and text embeddings by adding an additional Transformer on top of CLIP and fine-tuning it on VQA. We find that across such fine-tuned variants of CLIP, the strength of CAB in a model predicts how well it performs on VQA.
translated by 谷歌翻译
Recently, extensive studies on photonic reinforcement learning to accelerate the process of calculation by exploiting the physical nature of light have been conducted. Previous studies utilized quantum interference of photons to achieve collective decision-making without choice conflicts when solving the competitive multi-armed bandit problem, a fundamental example of reinforcement learning. However, the bandit problem deals with a static environment where the agent's action does not influence the reward probabilities. This study aims to extend the conventional approach to a more general multi-agent reinforcement learning targeting the grid world problem. Unlike the conventional approach, the proposed scheme deals with a dynamic environment where the reward changes because of agents' actions. A successful photonic reinforcement learning scheme requires both a photonic system that contributes to the quality of learning and a suitable algorithm. This study proposes a novel learning algorithm, discontinuous bandit Q-learning, in view of a potential photonic implementation. Here, state-action pairs in the environment are regarded as slot machines in the context of the bandit problem and an updated amount of Q-value is regarded as the reward of the bandit problem. We perform numerical simulations to validate the effectiveness of the bandit algorithm. In addition, we propose a multi-agent architecture in which agents are indirectly connected through quantum interference of light and quantum principles ensure the conflict-free property of state-action pair selections among agents. We demonstrate that multi-agent reinforcement learning can be accelerated owing to conflict avoidance among multiple agents.
translated by 谷歌翻译